Hands-On

Hands-On ini digunakan pada kegiatan Microcredential Associate Data Scientist 2021

Pertemuan 6

Pertemuan 6 (enam) pada Microcredential Associate Data Scientist 2021 menyampaikan materi mengenai Mengumpulkan Data, Menelaah Data dengan metode Visualisasi

Latihan (1)

Sebelum menelaah data dengan metode visualisasi, kita perlu memanggil modul visualisasi (seaborn & matplotlib) terlebih dahulu.

# memanggil modul Pandas and Seaborn  
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

plt.style.use('fivethirtyeight') 

import warnings
warnings.filterwarnings('ignore') 

bunga ='Iris.csv'
df = pd.read_csv(bunga)

# menampilkan 5 baris data
df.head()

	Id	SepalLengthCm	SepalWidthCm	PetalLengthCm	PetalWidthCm	Species
0	1	5.1	3.5	1.4	0.2	Iris-setosa
1	2	4.9	3.0	1.4	0.2	Iris-setosa
2	3	4.7	3.2	1.3	0.2	Iris-setosa
3	4	4.6	3.1	1.5	0.2	Iris-setosa
4	5	5.0	3.6	1.4	0.2	Iris-setosa

Latihan (2)

Karena kita tidak membutuhkan kolom "Id" dalam melakukan visualisasi kita dapat menghapus kolom "Id" menggunakan fungsi .drop()

# menghapus kolom "id"
df.drop(["Id"], axis=1)

	SepalLengthCm	SepalWidthCm	PetalLengthCm	PetalWidthCm	Species
0	5.1	3.5	1.4	0.2	Iris-setosa
1	4.9	3.0	1.4	0.2	Iris-setosa
2	4.7	3.2	1.3	0.2	Iris-setosa
3	4.6	3.1	1.5	0.2	Iris-setosa
4	5.0	3.6	1.4	0.2	Iris-setosa
...	...	...	...	...	...
145	6.7	3.0	5.2	2.3	Iris-virginica
146	6.3	2.5	5.0	1.9	Iris-virginica
147	6.5	3.0	5.2	2.0	Iris-virginica
148	6.2	3.4	5.4	2.3	Iris-virginica
149	5.9	3.0	5.1	1.8	Iris-virginica

150 rows × 5 columns

Latihan (3)

Lakukan pengecekan nilai yang hilang (missing value) pada dataset. Dengan function info()

# memeriksa missing values pada dataset
df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 150 entries, 0 to 149
Data columns (total 6 columns):
 #   Column         Non-Null Count  Dtype  
---  ------         --------------  -----  
 0   Id             150 non-null    int64  
 1   SepalLengthCm  150 non-null    float64
 2   SepalWidthCm   150 non-null    float64
 3   PetalLengthCm  150 non-null    float64
 4   PetalWidthCm   150 non-null    float64
 5   Species        150 non-null    object 
dtypes: float64(4), int64(1), object(1)
memory usage: 7.2+ KB

Latihan (4)

Tampilkan visualisasi dari data yang telah menggunakan fungsi describe() untuk mendapatkan informasi umum statistik tentang dataset

# melakukan visualisasi dari data describe

df.describe().plot(kind = 'area', figsize = (12,8), colormap='binary')
plt.xlabel('Statistics',fontsize=14)
plt.ylabel('Value',fontsize=14)
plt.title("General Statistics of Iris Dataset",fontsize=18)

Text(0.5, 1.0, 'General Statistics of Iris Dataset')

Latihan (5)

Tampilkan visualisasi bar plot dan pie chart untuk menghitung frekuensi setiap species dalam dataset iris

# visualisasi bar plot dan pie chart
f,ax=plt.subplots(1,2,figsize=(18,8))
df['Species'].value_counts().plot.pie(explode=[0.1,0.1,0.1],autopct='%1.1f%%',ax=ax[0],shadow=True)
ax[0].set_title('Iris Species Count')
ax[0].set_ylabel('Count')
sns.countplot('Species',data=df,ax=ax[1])
ax[1].set_title('Iris Species Count')

Text(0.5, 1.0, 'Iris Species Count')

Latihan (6)

Visualisasi jointplot digunakan untuk menganalisis dua variable dan menggambarkan distribusi pada plot

Tampilkan visualisasi jointplot menggunakan fitur 'SepalLengthCm' dan 'SepalWidthCm' dalam visualisasi jointplot.

# visualisasi Joint plot

Latihan (7)

sns.jointplot(x='SepalLengthCm',y='SepalWidthCm',data=df)

<seaborn.axisgrid.JointGrid at 0x160392b06d0>

Latihan (8)

sns.jointplot('SepalLengthCm','SepalWidthCm',kind='hex',data=df)

<seaborn.axisgrid.JointGrid at 0x1603921b400>

Latihan (9)

sns.jointplot('SepalLengthCm','SepalWidthCm', data=df, kind='reg')

<seaborn.axisgrid.JointGrid at 0x1603965c850>

Latihan (10)

sns.jointplot("SepalLengthCm", "SepalWidthCm", data=df, kind='kde',color='b')

<seaborn.axisgrid.JointGrid at 0x160396c1880>

Latihan (11)

sns.jointplot("SepalLengthCm", "SepalWidthCm",data=df, color="b").plot_joint(sns.kdeplot, zorder=0, n_levels=6)

<seaborn.axisgrid.JointGrid at 0x16039b08f70>

Latihan (12)

Visualisasi Boxplot untuk memberikan ringkasan statis dari fitur yang diplot.

• Garis atas mewakili nilai maksimal
• Tepi atas kotak adalah Kuartil ketiga
• Tepi tengah adalah median,
• Tepi bawah adalah nilai kuartil pertama.
• Garis paling bawah adalah nilai minimum.
• Ketinggian kotak disebut sebagai rentang Interkuartil.
• Titik-titik hitam pada plot adalah nilai outlier dalam data.

Tampilkan visualisasi boxplot menggunakan kolom "Species" dan "PetalLengthCm" dalam dataset iris

# visualisasi Boxplot 

fig=plt.gcf()
fig.set_size_inches(10,7)
fig=sns.boxplot(x='Species',y='PetalLengthCm',data=df,order=['Iris-virginica','Iris-versicolor','Iris-setosa'],linewidth=2.5,orient='v',dodge=False)

# visualisasi Boxplot yang di kelompokkan berdasarkan "Species"
df.boxplot(by="Species", figsize=(12, 6))
pass

Latihan (13)

Visualisasi Violin Plot untuk memvisualisasikan sebaran data dan distribusi probabilitas.

• Bilah hitam tebal di tengah mewakili rentang interkuartil
• Garis hitam tipis yang memanjang darinya mewakili interval kepercayaan 95%
• Titik putih adalah median.

Tampilkan visualisasi Violin Plot dengan menggunakan setiap kolom yang ada untuk melihat sebaran data terhadap kolom "Species" dalam dataset iris

plt.figure(figsize=(15,10))
plt.subplot(2,2,1)
sns.violinplot(x='Species',y='PetalLengthCm',data=df)
plt.subplot(2,2,2)
sns.violinplot(x='Species',y='PetalWidthCm',data=df)
plt.subplot(2,2,3)
sns.violinplot(x='Species',y='SepalLengthCm',data=df)
plt.subplot(2,2,4)
sns.violinplot(x='Species',y='SepalWidthCm',data=df)

<AxesSubplot:xlabel='Species', ylabel='SepalWidthCm'>

Latihan (14)

Visualisasi pairplot yang juga dikenal dengan scatterplot adalah visualisasi sebaran data yang menunjukan keterkaitan antar kolom.

Tampilkan visualisasi pairplot dari setiap kolom yang ada untuk melihat sebaran data dalam dataset iris

# visualisasi pairplot 
sns.pairplot(data=df,kind='scatter')

<seaborn.axisgrid.PairGrid at 0x1603c035c40>

Latihan (15)

Visualisasi heatmap digunakan untuk mengetahui korelasi setiap kolom dalam dataset. Nilai positif atau negatif yang tinggi menunjukkan bahwa fitur tersebut memiliki korelasi yang tinggi. Hal ini membantu kita memilih parameter untuk machine learning.

Tampilkan visualisasi heatmap dari korelasi setiap fitur dalam dataset iris

# visualisasi heatmap

fig=plt.gcf()
fig.set_size_inches(10,7)
fig=sns.heatmap(df.corr(),annot=True,cmap='coolwarm',linewidths=1,linecolor='k',square=True,mask=False, vmin=-1, vmax=1,cbar_kws={"orientation": "vertical"},cbar=True)

Latihan (16)

Visualisasi Distribution plot untuk membandingkan jangkauan dan distribusi untuk dataset numerik. Visualisasi Distribution plot tidak relevan untuk analisis data yang terperinci karena berkaitan dengan ringkasan distribusi data.

Tampilkan visualisasi Distribution plot setiap fitur dalam dataset iris

# visualisasi distribution plot

df.hist(linewidth=1.2)
fig=plt.gcf()
fig.set_size_inches(12,6)

Latihan (17)

Visualisasi Residual Plot adalah visualisasi untuk memplot residu dengan nilai prediksi pada sumbu x, dan residu pada sumbu y. Jarak dari garis 0 adalah seberapa buruk prediksi untuk nilai yang di plot.

Tampilkan visualisasi Residual Plot dari fitur "SepalLengthCm" dan SepalWidthCm dalam dataset iris

# visualisasi Residual Plot

fig=plt.gcf()
fig.set_size_inches(10,7)
fig=sns.residplot(x='SepalLengthCm', y='SepalWidthCm',data=df,lowess=True,color='g')

Latihan (18)

Visualisasi Stacked Histogram digunakan untuk menunjukkan bagaimana fitur yang lebih besar dibagi menjadi fitur yang lebih kecil dan menunjukan hubungan masing-masing fitur terhadap jumlah total

Tampilkan visualisasi Stacked Histogram dari fitur "Species" dengan mengubah tipe datanya menjadi category (astype) dalam dataset iris

# visualisasi stacked histogram

df['Species'] = df['Species'].astype('category')
#df.head()
list1=list()
mylabels=list()
for gen in df.Species.cat.categories:
    list1.append(df[df.Species==gen].SepalLengthCm)
    mylabels.append(gen)
    
h=plt.hist(list1,bins=30,stacked=True,rwidth=1,label=mylabels)
plt.legend()
plt.show()

Latihan (19)

Visualisasi Area Plot memberi kita representasi visual dari Berbagai dimensi dalam dataset.

Tampilkan visualisasi Area Plot dari fitur 'SepalLengthCm','SepalWidthCm','PetalLengthCm','PetalWidthCm' dalam dataset iris

# visualisasi Area Plot 

df.plot.area(y=['SepalLengthCm','SepalWidthCm','PetalLengthCm','PetalWidthCm'],alpha=0.4,figsize=(12, 6));

Latihan (20)

Visualisasi distplot membantu untuk melihat distribusi variabel tunggal. Kde menunjukkan kepadatan distribusi

Tampilkan visualisasi distplot dari fitur 'SepalLengthCm' dengan menggunakan Kde (kind) untuk menunjukkan kepadatan distribusi dalam dataset iris

# visualiasi distplot

sns.distplot(df['SepalLengthCm'],kde=True,bins=20);